Learn2Dance: Learning Statistical Music-to-Dance Mappings for Choreography Synthesis

music-drivenなダンス振り付け生成に向けたダンスの分析 from musical measures

We propose a novel framework for learning many-to-many statistical mappings from musical measures to dance figures towards generating plausible music-driven dance choreographies. We obtain music-to-dance mappings through use of four statistical models: 1) musical measure models, representing a many-to-one relation, each of which associates different melody patterns to a given dance figure via a hidden Markov model (HMM); 2) exchangeable figures model, which captures the diversity in a dance performance through a one-to-many relation, extracted by unsupervised clustering of musical measure segments based on melodic similarity; 3) figure transition model, which captures the intrinsic dependencies of dance figure sequences via an n-gram model; 4) dance figure models, capturing the variations in the way particular dance figures are performed, by modeling the motion trajectory of each dance figure via an HMM. Based on the first three of these statistical mappings, we define a discrete HMM and synthesize alternative dance figure sequences by employing a modified Viterbi algorithm. The motion parameters of the dance figures in the synthesized choreography are then computed using the dance figure models. Finally, the generated motion parameters are animated synchronously with the musical audio using a 3-D character model. Objective and subjective evaluation results demonstrate that the proposed framework is able to produce compelling music-driven choreographies.

妥当な音楽主導のダンス振付を生成することに向けて、音楽的な尺度からダンスフィギュアまでの多対多の統計的マッピングを学習するための新しいフレームワークを提案する。我々は、４つの統計モデルを用いて音楽とダンスのマッピングを得る：１）隠れマルコフモデル（ＨＭＭ）を介して異なるメロディパターンを所与のダンスの図に関連付ける多対１の関係を表す音楽尺度モデル。 ; ２）メロディック類似性に基づく音楽小節セグメントの教師なしクラスタリングによって抽出された１対多の関係を通してダンスパフォーマンスにおける多様性を捉える交換可能な数字モデル。 ３）フィギュア遷移モデル。これは、ｎグラムモデルを介してダンスフィギュアシーケンスの固有の依存関係を捉える。 ４）ＨＭＭを介して各ダンスフィギュアの動作軌跡をモデル化することによって、特定のダンスフィギュアが行われる方法における変動を捉える、ダンスフィギュアモデル。これらの統計的マッピングの最初の3つに基づいて、我々は離散HMMを定義し、修正ビタビアルゴリズムを使用することによって代替ダンスフィギュアシーケンスを合成する。次いで、合成振り付けにおけるダンス人物の運動パラメータがダンス人物モデルを使用して計算される。最後に、生成されたモーションパラメータは、3Dキャラクターモデルを使用して音楽オーディオと同期してアニメートされます。客観的および主観的な評価結果は、提案されたフレームワークが説得力のある音楽主導の振り付けを生み出すことができることを実証しています。

@article{OfliEYT12,

author = {F. Ofli and

E. Erzin and

Y. Yemez and

A. M. Tekalp},

title = "{Learn2Dance: Learning Statistical Music-to-Dance Mappings for Choreography Synthesis}",

journal = {Journal of {IEEE} Trans. Multimedia},

volume = {14},

number = {3-2},

pages = {747--759},

year = {2012},

doi = {10.1109/TMM.2011.2181492},

timestamp = {Sat, 16 Sep 2017 12:06:27 +0200},

}